Trước khi nước Việt Nam Dân chủ Cộng hòa được thành lập, ngày 16/8/1945, Phạm Văn Đồng giữ chức Bộ trưởng Tài chính. Tuy nhiên, dấu ấn nổi bật của ông là trong lĩnh vực ngoại giao.

Ngày 2 tháng 3 năm 1946 tại Hà Nội, ông được bầu làm Phó Trưởng ban Thường vụ Quốc hội (khóa I).

Ngày 31 tháng 5 năm 1946, Phạm Văn Đồng là Trưởng phái đoàn Việt Nam Dân chủ Cộng hòa tại Hội nghị Fontainebleau (Pháp)[8] thay cho Nguyễn Tường Tam không nhận nhiệm vụ, nhằm tìm một giải pháp độc lập cho Đông Dương. Tuy nhiên, hội nghị thất bại do Pháp không trả lời dứt khoát về việc ấn định thời hạn thực hiện cuộc trưng cầu dân ý ở Nam Kỳ.

Khi Chiến tranh Đông Dương bùng nổ, ông được cử làm Đặc phái viên của Trung ương Đảng và Chính phủ tại Nam Trung Bộ. Năm 1947 ông được bầu làm Ủy viên dự khuyết Ban chấp hành Trung ương Đảng Cộng sản Đông Dương (Uỷ viên chính thức từ năm 1949). Từ tháng 7 năm 1949, ông được cử làm Phó Thủ tướng duy nhất.

Tại Đại hội Đảng Cộng sản Đông Dương/Đảng Lao động Việt Nam lần thứ hai năm 1951, Phạm Văn Đồng trở thành ủy viên Bộ Chính trị Trung ương Đảng.

Năm 1954, ông là trưởng phái đoàn Chính phủ dự Hội nghị Genève về Đông Dương. Những đóng góp của đoàn Việt Nam do ông đứng đầu tạo ra những đột phá đưa hội nghị để giành độc lập cho bán đảo Đông Dương. Trải qua 8 cuộc họp toàn thể và 23 phiên họp căng thẳng, phức tạp, với tinh thần chủ động và cố gắng của phái đoàn Việt Nam, thì đến ngày 20/7/1954, bản Hiệp định đình chỉ chiến sự trên bán đảo Đông Dương đã được ký kết thừa nhận tôn trọng độc lập, chủ quyền của các nước Việt Nam, Lào và Campuchia.

Tháng 9/1954, Phạm Văn Đồng kiêm chức Bộ trưởng Ngoại giao nước Việt Nam Dân chủ Cộng hòa, Trưởng ban Đối ngoại Trung ương Đảng. Từ tháng 9 năm 1955, ông trở thành thủ tướng Chính phủ của Việt Nam Dân chủ Cộng hòa. Từ năm 1976, ông là thủ tướng của Cộng Hòa Xã Hội Chủ Nghĩa Việt Nam (thống nhất), phó chủ tịch Hội đồng Quốc phòng cho đến khi về hưu năm 1987. Ông cũng liên tục làm đại biểu Quốc hội từ năm 1946 đến năm 1987.

Trong thời gian làm thủ tướng chính phủ, Phạm Văn Đồng và Nguyễn Văn Linh đã giải oan cho đạo diễn Trần Văn Thủy trong sự kiện về bộ phim tài liệu Hà Nội trong mắt ai.[9]

Tại Đại hội Đảng lần thứ V đã bầu Phạm Văn Đồng vào Ban Chấp hành Trung ương Đảng và Uỷ viên Bộ Chính trị.[10]